В области искусственного интеллекта моделирование последовательностей смещает фокус с статических снимков на временные потоки. Обычные задачи машинного обучения часто предполагают, что точки данных являются независимыми и одинаково распределёнными (IID), то есть порядок выборок не влияет на результат.

Моделирование последовательностей явно отвергает это, уделяя внимание трем основным принципам:

• Нарушение перестановочной инвариантности: В табличных данных порядок столбцов произволен. В последовательностях порядок является ключевой характеристикой. Перестановка «Кот съел мышь» в «Мышь съела кота» кардинально меняет семантическую истину несмотря на идентичные элементы.
• авторегрессивные свойства: Мы предполагаем, что наблюдение в момент времени $t$ математически зависит от своей истории ($t-1, t-2, \dots, 1$). Это требует переходных вероятностей для описания того, как информация развивается.
• маппинг переменной длины: В отличие от фиксированных сеток 28x28 пикселей, последовательности, такие как предложения или сейсмические волны, являются эластичными. Модели должны обрабатывать входы длины $N$ и генерировать выходы длины $M$, используя единые параметры.